一种基于Spark的不确定数据集频繁模式挖掘算法

如何在海量不确定数据集中提高频繁模式挖掘性能是目前研究的热点.传统算法大多是以期望、概率或者权重等单一指标为数据项集支持度，在大数据背景下，同时考虑概率和权重支持度的算法难以兼顾其执行效率.为此，本文提出一种基于Spark的不确定数据集频繁模式挖掘算法（UWEFP），首先，为了同时兼顾数据项的概率和权重，计算一项集的最大概率权重值并进行剪枝；然后，为了减少对数据集的多次扫描，结合Spark框架的优点，设计了一种具有FP-tree特征的新颖的UWEFP-tree结构进行模式树的构建及挖掘；最后在Spark环境下，以UCI数据集进行实验验证.实验结果表明本文的方法在保证挖掘结果的同时，提高了效率.     

基于DSP的多元数据同步采集与存储系统的设计与实现

从硬件和软件两个角度出发,介绍基于DSP的多元数据同步采集与存储系统的组成、工作模式以及功能的测试。系统主要由上位机和数字采集与存储单元组成,其中数字采集与存储单元的硬件部分包括电源模块,值班电路模块,数据采集模块,数据存储模块,时钟同步模块。系统采用DSP作为中央处理芯片,利用经过同步后的秒脉冲作为触发信号,实现同步数据采集。以CF卡作为存储介质,实现数据自容式存储。软件部分实现自检、同步、数据采集存储功能。经过测试,系统工作稳定,功能正常,同步精度在100ns以内。     

基于图形处理器的形态学重建系统

形态学重建是医学图像处理中非常基础和重要的操作。它根据掩膜图像的特征对标记图像反复进行膨胀操作，直到标记图像中的像素值不再变化为止。对于传统基于中央处理器（CPU）的形态学重建系统计算效率不高的问题，提出了使用图形处理器（GPU）来加速形态学重建。首先，设计了适合GPU处理的数据结构：并行堆集群；然后，基于并行堆集群，设计和实现了一套基于GPU的形态学重建系统。实验结果表明，相比传统基于CPU的形态学重建系统，基于GPU的形态学重建系统可以获取超过20倍的加速比。基于GPU的形态学重建系统展示了如何把基于复杂数据结构的软件系统高效地移植到GPU上。     

基于不可靠通信链路的数据共享模块

随着企业规模的逐步扩大和计算机网络与企业信息技术的飞速发展，大中型企业陆续建立了很多业务系统，对各个系统之间数据同步的安全性提出了更高的需求。针对此需求，基于RabbitMQ消息队列中间件，本文设计并实现基于不可靠通信链路的数据共享模块，解决在企业内部两级数据中心之间的双向数据同步问题，并通过RabbitMQ的消息确认机制和持久化机制，保证数据的安全送达、无丢失。经过实践证明，该数据共享模块功能稳定，可提高两级数据中心的数据传输效率并保证其安全性。     

一种适用于混合型分类数据的聚类算法

传统的K-modes算法采用简单的属性匹配方式计算同一属性下不同属性值的距离，并且计算样本距离时令所有属性权重相等。在此基础上，综合考虑有序型分类数据中属性值的顺序关系、无序型分类数据中不同属性值之间的相似性以及各属性之间的关系等，提出一种更加适用于混合型分类数据的改进聚类算法，该算法对无序型分类数据和有序型分类数据采用不同的距离度量，并且用平均熵赋予相应的权重。实验结果表明，改进算法在人工数据集和真实数据集上均有比K-modes算法及其改进算法更好的聚类效果。     

面向文本数据的正则化交叉验证方法

面向文本数据建模时,交叉验证方法是特征选择及模型比较任务中的常用方法。许多研究表明,文本数据模型的性能估计对交叉验证的数据切分方式较为敏感,不合理的切分方式可能会导致不稳定的性能估计值,使得实验结果可复现性差。该文试图论证基于多次重复(m次)的2折交叉验证,通过引入对训练集、验证集分布差异的约束,所构造的正则化m×2交叉验证方法(简记为m×2 BCV)可以改善模型的性能指标的估计,适宜于模型比较。该文首先针对文本数据引入训练集与验证集分布差异的卡方度量,基于该度量构建数据切分的正则化条件,以最大化模型性能指标的信噪比为目标,给出了满足正则化条件的m×2 BCV的数据切分优化算法。最后,以自然语言处理中汉语框架语义角色标注任务为例,验证了基于m×2 BCV方法的有效性。     

基于MF-R和AWS密钥管理机制的物联网健康监测大数据分析系统

带有传感器的可穿戴式医疗设备不断生成大量数据，由于数据的复杂性，难以通过处理和分析大数据来找到有价值的决策信息。为了解决这个问题，提出了一种新的物联网体系结构，用于存储和处理医疗应用的可扩展传感器数据（大数据）。所提出的架构主要由两个子架构组成：Meta Fog重定向（MF-R）架构和AWS密钥管理机制。MF-R架构使用Apache Pig和Apache HBase等大数据技术来收集和存储不同传感器设备生成的传感器数据，并利用卡尔曼滤波消除噪声。AWS密钥管理机制使用密钥管理方案，目的是保护云中的数据，防止未经授权的访问。当数据存储在云中时，所提出的系统能够使用随机梯度下降算法和逻辑回归来开发心脏病的预测模型。仿真实验表明，和其他几种算法相比，提出的算法具有更小的误差，且在吞吐量、准确度等方面具有一定的优越性。     

基于改进关联规则算法的警情数据分析

针对传统Apriori算法挖掘警情数据的缺点，提出一种改进的Apriori算法。该算法首先在关联规则发现阶段引入权值参数，设计支持度阈值函数，以挖掘不常发生的重大案情发生规律；然后提出一种压缩矩阵优化算法，将数据压缩存储在只有0或1的矩阵中，并用2个数组来记录矩阵中每一行及每一列1的总数，可多次压缩矩阵，提升挖掘效率；最后将改进的算法用于实际的警情数据挖掘分析，给出关联规则挖掘结果。实验表明，改进算法不仅执行效率较传统算法有所提升，且针对警情数据的挖掘结果准确性也有所提高。     

以“互联网+”促进学前教育信息化建设

云计算、大数据、人工智能等技术的快速发展，有力地促进了“互联网+教育”的普及和应用。学前教育作为“互联网+”的重要应用领域，可以充分地利用人工智能、物联网、大数据等技术，实现学前教育硬件设备的互联互通，利用大数据搜索与推荐学前教育资源，基于人工智能开发可视化、虚拟化的学前教育课程，培养儿童的学习积极性和主动性，让学生养成一种良好的学习习惯，具有重要作用和意义。